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Proc6dd et dispositif de modification de zone d'images. 

^7) Le proc6d6 permet de modifier le contenu d'une se- 
quence d'images representables par una matrice de pixels. 
Pour cela on identifie une zone cible non d6formable k 
remplacer dans la sc6ne et on la caract^rise, en position et 
en dimensions, par r6f6rence d des repdres proches Ii6s ^ 
la zone cible dans chaque image; on d^tenmine la position, 
par rapport auxdits rep^res. d donner k un module ou pa- 
tron superposable ^ la zone cible, m6moris6 sous forme 
num6rique; pour chaque image particuli^re, on d6tenmlne. 
automatiquement, par un calcul de correlation fond6 sur les 
rep^res, la transformation g^om^trique d faire subir au mo- 
dule pour qu'il conresponde aux variations d'aspect de la 
zone cible, dans toutes les images successives d'un mdme 
plan et on substitue dans Timage les pixels repr^sentatifs 
du module aux pixels repr6sentatifs de la zone cible 14. 
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PROCEDE ET DISPOSITIF DE MODIFICATION DE ZONE D' IMAGES 

L' invention a pour objet un procfede et un 
dispositif de modification d'une zone d' images successives 
constituant une sequence, representant une scene evolutive, 
fournies par au moins une cam6ra, 

Le terme "sequence d' images" doit etre interprete 
dans un sens large et comme designant aussi bien le signal 
image (analogique ou numerique) produit en temps reel par 
une camera ou une regie video qu'une sequence enregistree 
sur un support d'archivage inscriptible (numerique ou 
analogique), sur un support photographique, magn6tique ou 
optique, sous une forme autorisant une visualisation, une 
restitution ou une diffusion ulterieure a une cadence 
fequivalente a la cadence temps-reel, 

De fa^on plus precise, 1* Invention a pour objet un 
precede et un dispositif permettant de remplacer une 
fraction correspondant a une region precise ou a un objet 
de la sc§ne qu'on denommera ci-dessus "zone cible*', par une 
representation d'une autre region precise, ou d'un autre 
objet, reel ou non reel, qu'on denommera ci-dessous 
"patron" ou "modele". 

Les domaines d' application de 1* invention soht 
extremement varies. On peut citer, de fagon non 
limitative : 

- la publicite, le precede permettant d'ajouter ou 
de remplacer des panneaux publicitaires lors des 
transmissions ou retransmissions de manifestations 
sportives ou autres ; 

la production d'oeuvres audio-visuelles, 
notamment de fiction, le precede permettant alors de 
remplacer le decor d'un tournage d'une production par un 
autre decor ; 

- la simulation, ou le pr6c6de permet d'inserer la 
representation d'un objet reel dans un environnement cons- 
titu6 par une image de synthese. 
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On connalt dfej^ de nombreux proc6d6s utilisables 
pour modifier une zone cible dans une image. On peut par 
exemple identifier la zone cible par une couleur particu- 
lifere, de pr§f6rence inutilis§e dans le reste de 1* image 
pour 6viter toute ambiguity, Mais ce procfede ne tient pas 
compte des conditions d 'acquisition de 1* image, par exemple 
des mouvements de la camera. Le module ne peut en conse- 
quence suivre 1* evolution de la scene de fagon satisfai- 
sante. 

On sait egalement, en synthese d* image, generer un 
modele qu'on incruste dans une zone cible, mais S condition 
que la position, la focale et la mise au point ne changent 
pas. 

Ces proc6d6s, ainsi que celui utilisant des plans 
superposes mis en oeuvre pour rSaliser des films associant 
des scenes reelles et des personnages de dessins animes, 
ont des limitations qui excluent leur emploi ou font 
apparaitre les truquages chaque fois que les conditions 
d ' acquisition de 1' image varient dans le temps de fagon 
significative. 

invention vise a fournir un precede de modifica- 
tion d'une zone d' images successives repondant mieux que 
ceux anterieurement connus aux exigences de la technique, 
d'une meme sequence, utilisable meme lorsque les conditions 
d' acquisition 6voluent, notamment en cadrage, en focale et 
en mise au point, par prise en compte de cette Evolution. 

Pour cela 1' invention part de la constatation que 
1 ' incrustation de 1 ' image du modele doit etre precedee 
d'une phase d* adaptation de cette image destinee a la faire 
exactement correspondre ^ la representation de la zone 
cible dans 1' image. 

L' invention propose en consequence un precede de 
modification du contenu d'une sequence d' images represen- 
tant une scfene evolutive et presentant un degre eieve de 
correlation entre images successives d'un meme plan, les 
images 6tant representables par* une matrice de pixels, 
caracterise en ce qu'on identifie une zone cible non 
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dfeformable S remplacer dans la scSne et on la caractferlse, 
en position et en dimensions, par r6£6rence k des rep&res 
proches li6s d la zone cible dans chaque image ; on deter- 
mine la position, par rapport auxdits reperes, a donner a 
un module ou patron superposable k la zone cible, memorise 
sous forme numerique ; pour chaque image particuliere, on 
determine, automatiquement, par un calcul de correlation 
fond6 sur les reperes, la transformation g§om6trique a 
faire subir au modele pour qu'il corresponds aux variations 
d' aspect de la zone cible, dans toutes les images successi- 
ves d'un meme plan et on substitue dans 1' image les pixels 
representatif s du modele aux pixels representatifs de la 
zone cible. 

Le terme "plan" designe une sequence d* images 
representant la meme scene acquise par la meme camera sans 
rupture temporelle ou spatiale brutale. 

L' invention est applicable meme lorsque la scene 
comporte des obstacles fixes ou mobiles places entre la 
camera et la zone cible et qui peuvent s * interposer entre 
les deux : dans ce cas les parties de 1 * image correspondant 
a ces obstacles seront identifiees et seule sera remplacee 
la partie de la zone cible qui n'est pas masquee par 
1' obstacle. 

Dans tous les cas, le precede suivant 1' invention 
utilise la continuite spatiale et temporelle de la scene en 
cours d'un meme plan. 

L' invention propose egalement un dispositif 
permettant de mettre en oeuvre le precede ci-dessus defini, 
comprenant des moyens de prise de vues fournissant chaque 
image sous forme d' une matrice de pixels, les valeurs 
radiomStriques (luminance et eventuellement chrominance ) de 
chaque pixel 6tant sous forme numerique, caracterise en ce 
qu'il comprend 6galement : 

des moyens de memorisation de reperes de 
localisation d ' une zone cible dans 1 ' image et de 
representations de la zone cible a plusieurs echelles et de 
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m§morisation de representations aux memes 6chelles d'un 
module ou patron superposable ^ la zone cible, 

- des moyens pour reconnaitre les reperes dans 
1' image courante et en deduire la position et les 
dimensions de la zone cible, et 

- des moyens pour determiner automatiquement pour 
chaque image, par un calcul de correlation fonde sur les 
reperes, la transformation geometrique S faire subir au 
modele pour qu'il corresponde aux variations d' aspect de la 
zone cible, dans toutes les images successives d'un meme 
plan et pour substituer, dans 1' image, les pixels 
repr6sentatifs du modele aux pixels representatif s de la 
zone cible. 

L' invention sera mieux comprise a la lecture de la 
description qui suit, d'un mode particulier de realisation, 
donnfe a titre d'exemple non limitatif. La description se 
rfefSre aux dessins qui 1 ' accompagnent, dans lesquels : 

- la figure 1 est un schema de principe montrant 
une scdne observee, un objet cible, un obstacle et une 
camera de prise de vue, 

- la figure 2 est une representation d' images de la 
scene a des instant successifs, 

- les figures 3A et 3B constituent un organigramme 
de principe du precede. 

Le precede suivant 1' invention sera decrit dans son 
application a la substitution d'un modele, constitue par un 
panneau publicitaire de dimensions et d ' emplacement fixes, 
a une cible constituee par un autre panneau publicitaire. 

Cette application peut notamment etre utilisee dans 
le cas d'une manifestation sportive dif fusee dans plusieurs 
pays avec des panneaux publicitaires differents. 

Une etape preliminaire consiste a selectionner et a 
memoriser la cible, ou la zone d' image qui la contient, 
sous forme de plusieurs representations 

- h des echelles differentes, dans toute la plage 
de variation que peut couvrir la variation de focale de la 
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camfera de prise de vue, par exmple pour des 6chelles 
successives d6coulant I'une de 1' autre par multiplication 
par racine de deux ; 

6ventuellement, en cas de cible dent 
1 ' orientation par rapport S la camfera peut varier, a des 
perspectives diff^rentes. 

Une seconds etape preliminaire consists soit a 
s61ectionner le panneau "modele" ou "patron" dans une 
bibliotheque g6r6e par un dispositif de consultation 
interactive de banques d' images, soit -si le modele 
n'existe pas encore- a le creer, par un logiciel de type 
palette graphique ou a I'aide d'une camera video, puis a 
1 ' inclure dans la banque d ' images sous forme d ' une image 
numerique fixe. A partir de cette image, on cree plusieurs 
images derivfees, correspondant aux memes 6chelles que 
celles du panneau cible. 

La figure 1 montre, d titre d'exemple, une camera 
10, qu'on supposera a focale variable, dirigee vers une 
scene 12 contenant une cible 14 ^ remplacer, cette cible 
etant dans une position invariable par rapport a deux 
objets 16 et 18 et pouvant etre partiellement ou totalement 
masquee par un obstacle 20. La camera 10 est reliee a un 
calculateur 22, par 1 ' intermediaire d'un convertisseur 
analogique-numerique si elle ne f ournit pas 1 ' image sous 
forme d'une matrice de pixels identifies chacun par un mot 
de plusieurs bits reprSsentant des valeurs de luminance et 
eventuellement de chrominance. 

Le precede suivant 1' invention traite chaque plan 
independamment des autres : pour chaque plan, les images 
successives sont acquises par la meme camera 10 et presen- 
tent une forte correlation spatiale et temporelle 1' evolu- 
tion de 1' image etant progressive. Comme le montre la figu- 
re 2 la zone cible 14 peut varier en dimensions, et etre 
dans certaines images masqu§e par un obstacle 15 (images n** 
1, 2 et 3 sur la figure 2). 

On extrait ensuite, pair des methodes connues 
faisant intervenir le calculateur 22, des informations 
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caractferistiques du panneau clble d'une part, du panneau 
module ou patron d' autre part, pour la meme Schelle- Ces 
informations peuvent etre : 

- des elements appartenant a la cible elle-meme, 
tels que des Elements de contour particuliers (graphemes 
dans une disposition relative invariable), points anguleux 
dans une disposition relative pred6terminee, repartition de 
couleurs comme sur une cocarde , etc • . . 

- des Elements occupant dans la scene une position 
invariable par rapport a la cible, entourant celle-ci et 
aisement identif iables & I'aide des criteres ci-dessus. 

La camera 10 peut etre munie de moyens indiquant au 
calculateur les variations de parametres lies a la camera, 
tels que la focale, permettant de faciliter la mise en 
correspondance d'616ments caracteristiques du panneau cible 
et d'61ements correspondants parmi les diverses 
representations du mobile, memorisees ou obtenues par 
interpolation ; cependant la focale de la camera (et 
6ventuellement les angles de site et de gisement, done 
1 ' orientation sous laquelle la camera 10 acquiert le 
panneau cible) peut etre estimee a l*aide d'un modele 
raathematique • 

La premiere operation effectuee sur 1' image courant 
par le calculateur 22 est la recherche du panneau cible 14, 
par recherche de la meilleure correspondance possible avec 
les informations caracteristiques memorisees. Cette 
recherche s'effectue par des methodes classiques de 
correlation numferique. La recherche peut etre simplifiee si 
elle tient compte des contraintes : 

- d' evolution geometrique, 

d' evolution de teintes imposees par le 

dispositif . 

Dans le cas ou seules sont ^ prendre en compte des 
transformations de type "similitude geometrique" , prove- 
quees par des variations de longueur focale, il suffit d*un 
module mathematique de deformation geometrique, du 
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genre utilis6 en t616d6tection, par minimisation des 
r6sidus & une fonction polynomials d'ordre un (a condition 
que I'optique de la camera n'introduise pas d'ab§rations 
signif icatives ) . 

Dans le cas au contraire ou des modifications 
d ' orientation interviennent, le modele mathematique de 
deformation geom^trique fait intervenir les modifications 
de forme du panneau cible sur 1' image courante. 

Par filtrage temporel sur plusieurs images 
successives d'un meme plan, la stabilite temporelle des 
modeles mathematiques , done leur qua lite, peut etre 
estimee. On peut en consequence choisir, parmi plusieurs 
modeles, celui qui represente le mieux la transformation 
g^ometrique. Une autre possibility consists a calculer un 
modele geometrique global a partir des modeles les plus 
stables . 

Si les informations de focale et d ' orientation ne 
sont pas fournies par des capteurs portes par la camera, le 
modele mathematique de transformation geometrique permet 
egalement d'estimer la focale et les angles. 

A titre d'exemple, les informations caracteristi- 
ques peuvent etre, dans le cas d'une cible constituee par 
un panneau publicitaire rectangulaire horizontal a fond 
blanc et d'une camera n'effectuant que des deplacements en 
site et en gisement, les quatre graphemes consitues par les 
quatre coins du panneau. Elles peuvent etre des marques de 
forme particuliere sur un fond uniforme (mur, toile, . . • ) 
dans le cas ou le modele ou patron doit etre incruste sur 
un tel fond a la restitution : la repartition des marques 
sera alors homothetique de celle de graphemes particuliers 
de modele ou patron. 

Une fois ainsi determine le modele mathematique de 
transformation geometrique, il est en general necessaire 
d'estimer la tranformation des teintes entre le panneau ci- 
ble type, (image principale et representations) et la zone 
qui lui correspond dans 1' image *courante, c'est-a-dire de 
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calculer un modele mathdmatique de transformation colorime- 
trlque. Une telle transformation est dans la pratique ine- 
vitable, par suite des variations d' 6clairement et des ca- 
ract§ristiques de la camera. Le module mathematique est une 
transformation lin6aire fond6e sur une comparaison entre 
uniquement les voisinages et des points du panneau cible 
servant & la recherche effective de correspondance . II faut 
en effet exclure les points qui risqueraient d'appartenir a 
un obstacle interposfe (images n° 1, 2 et 3 de la figure 2). 

Dans ce cas encore on effectue un filtrage temporel 
d' estimation de stabilite permettant d'6carter 1' influence 
du bruit inherent a la quantification des couleurs. 

Toutes ces operations apparaissent sur le trajet 
principal de la figure 3A et conduisent, pour cheque image, 
a deux modeles de transformation permettant de passer d'une 
representation memorisee de la cible a 1* image effective de 
la zone cible. 

A ce stade, il est utile d'estimer la fonction de 
transfert de modulation, c'est-a-d±re la difference de net- 
tete entre le panneau cible de 1' image courante et sa re- 
presentation memorisee. Pour cela on compare les spectres 
de frequence des images correspondantes - Cette analyse glo- 
balise le file c'est-a-dire 1' effet du mouvement, et les 
defauts de mise au point. 

On applique alors, a la representation memorisee du 
panneau cible, le modele de transformation geometrique, 
puis le modele de transformation des teintes, et enfin la 
fonction de transfert de modulation. 

Chacune de ces transformations est une transforma- 
tion lineaire. On peut done globaliser leur application. 

A cette §tape, on dispose d'une image courante 
transformee de la sequence, ou le panneau cible a ete rem- 
plac6 par la representation du panneau cible (image du mo- 
dule de la cible prfealablement genere). 

Les patrons de 1' image courante transformee qui 
different de 1' image courante initiale correspondent aux 
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points de 1' image courante initials qui reprdsentent autre 
chose que le panneau cible, done k un obstacle interpose 
entre la camera et le panneau, dont il sera possible de 
fixer la forme en vue de n'incruster que la portion du 
module ou patron correspondant a la zone non masquee (ob- 
stacle opaque) ou de modifier localement le patron avant 
incrustation (obstacle semi-transparent). 

En particulier, un obstacle mobile peut creer un 
effet de semi -transparence : un obstacle ajoure (filet de 
tennis) ou de petite taille (ballon) peut avoir le meme 
effet. 

Pour traiter ce cas, le precede suivant 1' invention 
utilise, dans un mode particulier de realisation, une carte 
de transparence fondee sur une Evaluation a priori ou a jus- 
tee en fonction de la scene reelle. Par example on affecte 
aux points non masques du panneau une transparence egale a 
un, et aux points correspondant aux obstacles une transpa- 
rence 6gale a zero. Pour les obstacles semi-transparents, 
ou pour les objets rapidement mobiles, on affecte au points 
correspondants une valeur intermediaire. On fait I'hypothe- 
se que, a I'echelle ou la scene est observes, les obstacles 
non transparents sont compacts, ce qui permet de filtrer la 
carte de transparence par une methods de type morphologie 
mathematique • 

La carte de transparence peut etre filtree tempo- 
rellement pour les obstacles fixes ; il n'est pas possible 
de filtrer temper el lement les obstacles rapidement mobiles, 

Une fois ces operations effectuees on dispose de la 
totality des informations nScessaires au remplacement du 
panneau cible par le panneau modele ou patron. 

Ce remplacement exige successivement le traitement 
du panneau patron memorise, puis la substitution des pixels 
obtenus ^ ceux de 1' image fournie par la camera. 

Le traitement implique d'effectuer sur 1' image du 
panneau patron, ^ I'echelle correspondant a cells utilisee 
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pour 1' Identification du panneau cible, les memes transfor- 
mations g6om6trique, colorimetrique et de file ; on appli- 
que ensuite la fonction de transparence (identity en cas de 
transparence egale a 1, suppression en cas de valeur zero, 
attenuation en cas de semi-transparence) . Le resultat obte- 
nu est incrustS dans 1' image courante avant stockage ou 
diffusion. 

Le filtrage temporel peut etre purement predictif 
et ne tenir compte que des images pass6es. II peut, ^ con- 
dition d'utiliser une mfemoire tournante dont la capacity 
est de quelques images, constituant une ligne a retard, 
utiliser un filtrage partielleraent ou totalement a poste- 
riori ou rfecursif . 

Le filtrage temporel, s'il est utilise, exige de 
detecter chaque changement de plan qui se traduit par une 
discontinuity de la transformation, progressive et continue 
dans un meme plan. 

Les changements de plan peuvent etre indiques par 
un capteur 6quipant la regie. Mais on peut aussi -et c'est 
cette solution qui sera generalement adoptee- detecter de 
fagon automatique chaque changement de plan par la discon- 
tinuite qu'il introduit dans le contenu de 1' image de la 
scene observee. 

Par exemple, en cas de zoom, il y aura re-estima- 
tion par recherche d'echelle de representation du panneau 
cibie qui fait le mieux correspondre la representation avec 
le panneau cible dans la scene courante. Cette operation 
peut etre effectuee par une methode de correlation de lis- 
tes d ' informations caract6ristiques du type dit "branch and 
bound". On reprend alors le processus decrit plus haut. On 
compare aussi les estimations des angles de site et gise- 
ment de prise de vue, ce qui permet de reconnaitre la came- 
ra qui effectue la prise de vue du nouveau plan, a condi- 
tion qu'elle n'ait pas ete d^placfee depuis la precedente 
prise de vue qu'elle a acquis. 

Le mode particulier de realisation qui vient d'etre 
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decrit est bien adaptfe au cas d'une cible constitute par 
une surface plane. L' Invention est 6galement utilisable 
sans modification importante dans le cas d'une cible dont 
la surface peut etre decomposfee en facettes assimilables ^ 
des portions planes, ainsi que cela est fait couramment en 
synthase d' images. 

La dfecomposition de la cible d'une part, et celle 
du patron d' autre part, en plusieurs facettes peuvent etre 
effectudes s6par6ment et sans aucune relation. 
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REVENDICATIONS 

!• Proc6d6 de modification du contenu d'une sequen- 
ce d' images repr6sentant une sc6ne fevolutive et presentant 
un degre elev§ de correlation entre images successives d'un 
meme plan, les Images §tant representables par une matrice 
de pixels, caract6rls6 en ce que : 

- on identifie une zone cable non deformable a rem- 
placer dans la scene et on la caracterise, en position et 
en dimensions, par reference ^ des reperes proches lies a 
la zone cible dans chaque image ; 

- on determine la position, par rapport auxdits re- 
peres, & donner & un modele ou patron superposable a la zo- 
ne cible, m6morls6 sous forme numerique ; 

- pour chaque image particuliere, on determine, 
automat iquement, par un calcul de correlation fonde sur les 
reperes, la transformation geometrique ^ faire subir au 
module pour qu'il corresponde aux variations d' aspect de la 
zone cible, dans toutes les images successives d*un meme 
plan et on substitue dans 1' image les pixels representatif s 
du modele aux pixels representatif s de la zone cible. 

2. Procfede selon la revendication 1, caracterise en 
ce qu'on determine la position et 1 'orientation de la zone 
cible par identification de reperes constitues par des ele- 
ments appartenant a la cible elle-meme, tels que des ele- 
ments de contour ou une trame. 

3. Precede selon la revendication 1 ou 2, caracte- 
rise en ce qu'on memorise plusieurs representations de la 
cible a des echelles et eventuellement des orientations 
diff6rentes et du module aux memes dchelles et orientations 
et en ce qu'on determine la transformation geometrique op- 
timale permettant de passer de la zone cible dans 1' image 
courante a une des representations afin de faire subir la 
tranformation correspondante a la representation associee 
du modele avant substitution. 
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4. Proc6d6 selon la revendication 3, caracterise en 
ce qu'on determine 6galement la transformation colorimStri- 
que optimale permettant de passer de la zone cible de 
1' image courante S une des representations en vue de 
I'imposer S la representation associfee du modele ou patron. 

5. Procede selon la revendication 3 ou 4, caracte- 
ris6 en ce qu'on determine la tranformation geometrique 
et/ou colorim§trique optimale en effectuant plusieurs 
tranformations diff6rentes et en comparant leurs resultats 
ou en ce qu'on adopte une synthese des tranformations don- 
nant les meilleurs resultats. 

6. Proced6 selon I'une quelconque des revendica- 
tions pr6cedentes, caracterise en ce qu'on detecte la pre- 
sence d' obstacles entre I'appareil de prise de vues four- 
nissant la sequence d* images, par comparaison entre 1* image 
courante transformfee et 1' image courante et en ce qu'on 
substitue les pixels representatif s du modele uniquement 
dans les portions ne pr^sentant pas de difference apprecia- 
ble. 

7. Procede selon la revendication 1, caracterise en 
ce qu'on effectue un filtrage temporel predictif ou recur- 
sif sur les modeles mathematiques de transformation, 

8. Dispositif de modification du contenu des images 
d'une sequence d' images prSsentant un degre 61ev§ de corre- 
lation entre images successives, comprenant des moyens de 
prise de vues fournissant cheque image sous forme d'une 
matrice ou pixels, les valeurs radiometriques (luminance et 
eventuellement chrominance) de cheque pixel 6tant sous for- 
me nura§rique, caracterise en ce qu'il comprend egalement : 

- des moyens de memorisation de reperes de locali- 
sation d'une zone cible dans 1' image et de representations 
de la zone cible ^ plusieurs echelles et de memorisation de 
representations aux memes 6chelles d'un modele ou patron 
superposable & la zone cible, 

- des moyens pour reconnaitre les reperes dans 
1' image courante et en deduire la position et les dimen- 
sions de la zone cible, et 
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- des moyens pour d6term±ner automatriquement pour 
chaque Image, par un calcul de corr61at±on fondfe sur les 
repdres, la transformation g§om§tr±que ^ fairs subir au 
module pour qu'il corresponde aux variations d' aspect de la 
zone cible, dans toutes les images successives d'un meme 
plan et pour substituer, dans 1' image, les pixels repr§sen- 
tatifs du modele aux pixels reprfesentatif s de la zone 
cible. 
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